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The invention concerns a method and a system 
for three-dimensional reconstruction of an image 
representing the surface contours of at least an 
object (1 ), from at least a two-dimensional view of 
said object obtained by X-ray, which consists in: 
determining the position of the photographing 
source (7) in a reference repository; selecting a 
predefined model constituting a mean form of the 
object, and repeating the process until the 
contours of the model are such that the variations 
between the overhead projection rays of the 
contours of the two-dimensional image from the 




source and the model surface are minimal; 
selecting an orientation and a position for the 
model in the reference repository; then selecting 
a deformation of the model to modify its contours 
in three dimensions. 
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Description 

[0001] La presente invention concerne la reconstitu- 
tion d'images en trois dimensions et, plus particuliere- 
ment, la reconstitution des contours surfaciques d'une 
image a partir de vues, meme incompletes, en deux di- 
mensions. 

[0002] Un exemple duplication de la presente inven- 
tion est la reconstitution d'images representant des ele- 
ments osseux a partir d'images en deux dimensions pri- 
ses, par exemple, aux rayons X. De telles images peu- 
vent servir, par exemple, a simuler une intervention chi- 
rurgicale en permettant au praticien de pre-visualiser les 
positions respectives des os au niveau d'une articula- 
tion, par exemple, en cas de plastie ligamentaire ou de 
mise en place de prothese. 

[0003] Aujourd'hui, pour permettre au praticien de vi- 
sualiser une image en trois dimensions a partir d'images 
en deux dimensions, on est contraint d'utiliser un scan- 
ner a rayons X effectuant des tomographies. A partir de 
ces tomographies, on sait reconstituer une image en 
trois dimensions. Soit il s'agit d'une technologie dite de 
tomographies en trois dimensions dans laquelle un 
grand nombre de vues (de I'ordre de 200) sont prises 
au moyen d'un scanner a rayons X selon differentes po- 
sitions, et les contours de I'os sont alors reconstitues 
partraitement d'image a partir de ces vues au scanner 
Soit il s'agit d'une technologie dite de tomographies en 
deux dimensions dans laquelle un grand nombre de 
coupes sont prises au moyen d'un scanner a rayons X 
transversalement a I'os. On peut alors reconstituer Fai- 
lure et la structure de I'os. 

[0004] La technique du scanner donne de bons resul- 
tats mais est d'une mise en oeuvre lourde et couteuse. 
En effet, I'utilisation d'un scanner permet d'obtenir un 
ensemble d'images en deux dimensions fournissant 
non seulement des informations sur le contour mais 
egalement sur I'interieur de I'os. Or, dans de nombreu- 
ses applications, seule la connaissance du contour sur- 
facique de I'os ou de I'objet est necessaire. 
[0005] L'article "Recovering the position and orienta- 
tion of free-form object from image contours using 3D 
distance maps" de S. Lavallee, publie dans IEEE Tran- 
sactions on Pattern Analysis and Machine Intelligence, 
volume 17, N° 4, en avril 1995, decrit un procede de 
reconstitution de la position et de I'orientation d'un objet 
dont on connaTt le modele 3D. Cette reconstitution s'ef- 
fectue a partir d'images en deux dimensions. 
[0006] Un autre exemple d'application de la presente 
invention est la reconstitution d'ossements incomplets, 
par exemple, en archeologie. Une reconstitution d'ima- 
ges en trois dimensions peut permettre de retrouver de 
facon quasi-parfaite la forme originelle de I'os meme si 
celui-ci est decouvert de facon incomplete. Dans une 
telle application, des problemes similaires a ceux expo- 
ses ci-dessus en relation avec la simulation d'interven- 
tions chirurgicales se posent. En particulier, il est sou- 
vent utile de connaitre la forme de I'os sans avoir a se 
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preoccuper de sa structure interne. 
[0007] Un autre inconvenient des techniques con- 
nues est qu'elles imposent une dose de radiations im- 
portante pour le patient ce qui n'est pas souhaitable. Si 
s cet inconvenient est moins sensible dans le domaine de 
I'archeologie ou c'est le coQt qui predomine, il est parti- 
culierement genant dans la simulation d'interventions 
chirurgicales. 

[0008] La presente invention s'applique plus particu- 
10 Herement a la reconstitution d'images se rapportant a 
des objets identifies, c'est-a-dire, dont on connaTt a 
I'avance la forme generate. Par exemple, pour un os, il 
faut au prealable decider de quel os il s'agit. 
[0009] La presente invention vise a proposer un nou- 
15 veau procede de reconstitution d'images en trois dimen- 
sions qui pallie les inconvenients des techniques con- 
nues. L'invention vise, en particulier, a proposer une so- 
lution qui ne necessite pas I'emploi couteux d'un scan- 
ner a rayons X. 

[0010] La presente invention vise egalement a propo- 
ser une solution qui soit compatible avec une exposition 
minimale aux rayons X ou Equivalents. 
[001 1 ] L'invention vise en outre a minimiser le nombre 
de vues en deux dimensions necessaires pour recons- 
tituer I'image en trois dimensions. 
[0012] Pour atteindre ces objets, la presente inven- 
tion prevoit un procede de reconstitution d'une image 
en trois dimensions representant les contours surfaci- 
ques d'au moins un objet, a partir d'au moins une vue 
en deux dimensions de cet objet prise aux rayons X, 
caracterise en ce qu'il consiste a : 

determiner la position de la source de prise de vues 
dans un referentiel de reference ; 
selectionner un modele predefini constituant une 
forme moyenne de I'objet ; et 

de facon iterative jusqu'a ce que les contours du modele 
soient tels que les ecarts, entre des rayons de retropro- 
jection des contours de I'image en deux dimensions de- 
puis la source et la surface du modele, soient 
minimaux : 

selectionner une orientation et une position du mo- 
dele dans le referentiel de reference, puis 
selectionner une deformation du modele pour mo- 
difier ses contours en trois dimensions. 

[0013] Selon un mode de realisation de la presente 
invention, le modele est obtenu a partir d'une population 
d'objets pour laquelle on recherche la correspondance 
statistique commune a tous les objets pour determiner 
une forme moyenne et les deformations principales par 
rapport a cette forme moyenne, de facon a disposer d'au 
moins un modele statistique. 

[0014] Selon un mode de realisation de la presente 
invention, les etapes de selection iteratives consistent 
a faire subir au modele statistique, successivement, une 
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transformation rigide modifiant sa position et/ou son 
orientation et une deformation non-rigide modifiant ses 
contours surfaciques. 

[0015] Selon un mode de realisation de la presente 
invention, les contours de I'image en deux dimensions 
sont obtenus automatiquement en projetant le modele 
dans le plan de I'image en deux dimensions, et en de- 
form ant les contours projetes de facon a les faire coin- 
cider avec les points de fort gradient en niveaux de gris 
de Timage en deux dimensions. 
[0016] Selon un mode de realisation de la presente 
invention, la determination automatique des contours 
de I'image en deux dimensions est effectuee de facon 
iterative, chaque iteration etant intercalee entre deux 
iterations successives des etapes de selection. 
[0017] Selon un mode de realisation de la presente 
invention, on determine, dans le referentiel de referen- 
ce, des coordonnees en trois dimensions de points de 
I'objet, de facon a disposer de points de reference sup- 
plementaires pour les etapes de selection iteratives de 
position, orientation, et deformation. 
[0018] Selon un mode de realisation de la presente 
invention, on utilise plusieurs images en deux dimen- 
sions pour lesquelles les positions respectives de la 
source de prise de vues sont toutes determinees dans 
le referentiel de reference, et on effectue les etapes de 
selections iteratives en tenant compte des rayons de re- 
troprojection des contours de toutes les images en deux 
dimensions. 

[0019] Selon un mode de realisation de la presente 
invention, le nombre d'images utilise est fonction de la 
precision souhaitee. 

[0020] Selon un mode de realisation de la presente 
invention, la surface du modele est constitute d'ele- 
ments de triangle, lesdits ecarts etant mesures par rap- 
port a des points de certaines aretes constituantdes ge- 
nerateurs du contour en trois dimensions. 
[0021] Selon un mode de realisation de la presente 
invention, le procede est applique a la reconstitution des 
contours surfaciques de plusieurs objets lies entre eux 
par des relations de transformation rigide et/ou elasti- 
que. 

[0022] Selon un mode de realisation de la presente 
invention, le procede est applique a la reconstitution 
d'images d'os. 

[0023] L'invention concerne egalement un systeme 
de traitement d'images, comportant des moyens pour la 
mise en oeuvre du procede de reconstitution d'images 
en trois dimensions. 

[0024] Ces objets, caracteristiques et avantages, ain- 
si que d'autres de la presente invention seront exposes 
en detail dans la description suivante de modes de rea- 
lisation particuliers faite a titre non-limitatif en relation 
avec les figures jointes parmi lesquelles : 

la figure 1 represente un mode de realisation d'un 
systeme de reconstitution d'images en trois dimen- 
sions a partir d'un dispositif de prise de vues en 



deux dimensions selon la presente invention ; 
la figure 2A illustre la prise d'une vue en deux di- 
mensions pour la mise en oeuvre du procede de 
reconstitution d'images en trois dimensions selon 

5 la presente invention ; 

la figure 2B illustre la prise de trois vues en deux 
dimensions pour la mise en oeuvre du procede de 
reconstitution selon la presente invention ; 
les figures 3A, 3B et 3C illustrent trois etapes ca- 

10 racteristiques du procede selon un mode de reali- 
sation de la presente invention ; 
la figure 4 illustre un mode de determination de ge- 
nerateurs de contour selon la presente invention ; 
et 

15 la figure 5 illustre un mode de determination prefere 
selon l'invention de I'ecart entre un modele en trois 
dimensions et une vue en deux dimensions. 

[0025] Les memes elements ont ete designes par les 

20 memes references aux differentes figures qui ne sont 
pas a I'echelle. Pour des raisons de clarte, seuls les ele- 
ments qui sont necessaires a la comprehension de l'in- 
vention ont ete representes aux figures et seront decrits 
par la suite. En particulier, les moyens de traitement 

25 d'images comprenant les calculateurs informatiques 
n'ont pas ete representes et ne seront pas decrits de 
facon detaillee, car leur realisation est a la portee de 
I'homme du m6tier a partir des indications fonctionnelles 
donnees ci-apres. 

30 [0026] Une caracteristique de la presente invention 
est de rechercher la position et I'orientation d'un objet a 
reconstituer, et dont on connaTt au moins une vue en 
deux dimensions, a partir d'une base de donnees con- 
tenant des modeles de cet objet. Quand plusieurs vues 

35 en deux dimensions sont utilisees, ces vues sont toutes 
referencees dans un meme referentiel. Ainsi, l'invention 
concerne la reconstitution d'une image representant un 
objet deja identify et dont on peut disposer de modeles 
de taille et/ou de forme differentes. 

40 [0027] Une caracteristique d'un mode de realisation 
prefere de la presente invention est d'utiliser au moins 
un modele statistique deformable, etabli a partir de la 
base de donnees, pour reconstituer la forme en trois di- 
mensions de I'objet. Ainsi, l'invention prevoit de definir, 

45 avant toute reconstitution, une base de donnees conte- 
nant des modeles en trois dimensions de I'objet a re- 
constituer ou, de preference, un ou plusieurs modeles 
statistiques deformables a partir de cette base de don- 
nees. 

so [0028] La figure 1 represente une vue schematique 
d'un systeme de reconstitution d'images en trois dimen- 
sions selon un mode de realisation de la presente in- 
vention. L'exemple de la figure 1 concerne la reconsti- 
tution de I'image d'un os 1 a partir de radiographies en 

55 deux dimensions. En figure 1 , on a represente schema- 
tiquement et partiellement le corps d'un patient p dont 
la jambe contient I'os 1 que Ton souhaite visualiser. La 
jambe du patient p (done I'os 1) est, par exemple, pose 
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sur une table 2. Une potence 3 porte un dispositif 4 de 
localisation en trois dimensions qui peut etre optique, 
magnetique, mecanique ou ultrasonore et qui repere la 
position et I'orientation de multiples capteurs-emetteurs 
constitues, par exemple, de diodes infrarouges, de re- 
flecteurs, d'emetteurs magnetiques, a ultrasons, etc. Un 
tel localisateur est parfaitement connu et ne sera pas 
detaille plus avant. On notera simplement que, pour ga- 
rantir une localisation correcte du patient (de I'os 1 ), ce- 
lui-ci est generalement egalement equipe d'un capteur- 
emetteur 18 d6tectable par le localisateur 4. En effet, 
selon I'invention, toutes les vues doivent pouvoir etre 
exploitees dans un meme referentiel (de reference), qui 
est associe a I'objet que Ton reconstitue. 
[0029] Plusieurs capteurs-emetteurs peuvent etre 
fixes sur le systeme de radiologie, proche de la source 
7 (capteur-6metteur 1 9) ou proche d'un detecteur d'ima- 
ge 9 (capteur-emetteur 5), de facon a reperer la position 
du systeme de radiologie par rapport au referentiel de 
reference du capteur-emetteur 18. 
[0030] Dans certains cas, les capteurs-emetteurs 5 et 
19 sont difficilement reperables en raison de leur eloi- 
gnement ou de la presence d'objets parasites dans le 
champ de mesure du localisateur 4. Dans ce cas, un 
capteur-emetteur 20 peut etre installe sur la table 2 dans 
le champ de mesure du localisateur 4. On positionne 
alors le systeme radiologique dans de bonnes condi- 
tions de mesure et on repere les positions des capteur- 
emetteurs 5 et 19 par rapport au capteur-emetteur 20 
une fois pour toutes (on ne renouvelle cette etape que 
si on bouge le systeme de radiologie dans son ensem- 
ble). 

[0031] Le systeme radiologique etant equipe de co- 
deurs angulaires sur ses axes, comme cela sera detaille 
plus loin, les changements de position relative du sys- 
teme radiologique sont mesures a I'aide de ces codeurs 
et peuvent ainsi etre reportes dans le referentiel du cap- 
teur-emetteur 20. Pour chaque prise de vue, on mesure 
la relation geometrique entre les capteurs-emetteurs 20 
et 18 et, parce biais, on reporte la position du systeme 
radiologique dans le referentiel de reference du capteur- 
emetteur 18. Ainsi, toutes les radiographies sont cali- 
brees dans le referentiel du capteur-emetteur 18 qui 
peut etre mobile. 

[0032] Le dispositif 6 est, par exemple, constitue 
d'une source 7 a rayons x portee par une premiere ex- 
tremity d'un bras 8 en demi-cercle dont I'autre extremite 
est destinee a recevoir le film 9 d'impression de la ra- 
diographic, ou un capteur electronique equivalent tel 
qu'un amplificateur de brillance, ou un detecteur plat au 
silicium amorphe. La relation entre le bras 8 et la table 
2 est telle que cette derniere se trouve entre la source 
7 et le capteur 9. Le bras 8 est monte a rotation autour 
d'un axe 1 0, motorise ou a deplacement manuel, et por- 
te par une potence 11 . L'ensemble de prise de vues en 
deux dimensions peut ainsi tourner autour de I'os 1 pour 
effectuer le nombre desire de radiographies de celui-ci. 
Le cas echeant, le localisateur optique 4 peut etre as- 
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socie a un dispositif de codage angulaire de la position 
de I'axe 10. 

[0033] L'ensemble est pilote par un systeme informa- 
tique, par exemple, un ordinateur 12 associe, de prefe- 

5 rence, a un ecran de visualisation 13. A la figure 1 , on 
a symbolise par des liaisons unifilaires 14, 15, 16 et 17, 
les bus informatiques d'echange de signaux electriques 
de commande et de donnees entre I'ordinateur 12 et, 
respectivement, le localisateur 4, la source 7, le moteur 

10 ou le codeur optionnel de I'axe 1 0 et le capteur 9, 
[0034] Les figures 2A et 2B illustrent deux modes de 
prises de vues selon deux modes de realisation de la 
presente invention. Aux figures 2A et 2B, les vues en 
deux dimensions ont ete representees par les plans res- 

15 pectifs dans lesquelles elles sont prises, c'est-a-dire par 
('allure de la surface du capteur 9 (figure 1) lors des pri- 
ses. Cela correspond aux images radiographiques en 
deux dimensions recuperees par le systeme informati- 
que. 

20 [0035] La figure 2A represente le cas d'une seule pri- 
se de vue dans un plan P1 , fournissant une image II de 
I'os 1 . La position de la source 7 a et6 symbolised par 
un point ou convergent des rayons r de retroprojection 
des quatre coins du plan P1 . 

25 [0036] La figure 2B represente le cas d'une triple prise 
de vues dans des plans P1 , P2 et P3, fournissant trois 
images 11 , 12 et 13 en deux dimensions de I'os 1 . En fi- 
gure 2B, la position de la source n'est pas constante, 
celle-ci est differente pour chaque prise de vue. Toute- 

30 fois, grace au localisateur 4, toutes les positions de la 
source sont connues dans le referentiel de reference. 
Par soucis de clarte, seuls les rayons r1 des quatre 
coins du plan P1 dans la position de I'image 11 ont ete 
represents. 

35 [0037] On notera que la source de prises de vues peut 
subir, entre deux images en deux dimensions, d'autres 
mouvements que dans un meme plan comme illustre 
par les figures 1 et 2B. En d'autres termes, le bras 8 du 
systeme de prises de vues 6 peut presenter plus de 

40 deux degres de liberte, dont chacun pourra etre muni 
d'un dispositif de codage angulaire. Selon un mode de 
realisation prefere, le bras 8 est monte sur deux axes 
de rotation horizontal et vertical et un axe de translation 
vertical. 

45 [0038] On notera egalement que les images en deux 
dimensions peuvent n'etre que partielles. Par exemple, 
dans ('application aux radiographies, celles-ci peuvent 
etre interpretees par I'operateur pour valider les con- 
tours des vues en deux dimensions a prendre en comp- 

50 te pour la reconstitution. Une telle interpretation n'est 
pas genante en raison du faible nombre de vues en deux 
dimensions necessaire selon I'invention (moins de dix 
en general). La validation des contours dans le systeme 
informatique peut etre effectuee, par exemple, au 

55 moyen d'une souris, d'un crayon optique, d'un ecran tac- 
tile, ou equivalent, de facon classique pour un enregis- 
trement de contour sur une image en niveaux de gris. 
[0039] Selon un autre mode de realisation prefere, la 
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determination des contours sur les images radiographi- 
ques est automatisee en mettant en oeuvre un procede 
dit de recalage en deux dimensions. Un tel procede con- 
siste a determiner le contour de facon automatique par 
analyse des gradients les plus forts en niveaux de gris. 5 
Ce procede est decrit, par exemple, dans la these de 
Gelu lonescu, presentee publiquement le 4 decembre 
1998 a I'Universite Joseph Fourier de Grenoble (Fran- 
ce), et ayant pour titre "Segmentation et recalage dama- 
ges echographiques par utilisation de connaissances 
physiologiques et morphologiques". Selon I'invention, 
on met en oeuvre ce procede de recalage en deux di- 
mensions en combinaison avec une projection, sur 
I'image en deux dimensions, du modele statistique 66- 
formable de I'objet dont on souhaite reconstituer les 
contours surfaciques en trois dimensions. On effectue 
une analyse iterative d'un contour projete du modele sur 
I'image en deux dimensions jusqu'a obtenir, apres plu- 
sieurs passes (par exemple de 3 a 1 0), une identite en- 
tre le contour du modele projete qui sera decrit ci-apres 
et dont I'orientation et la deformation auront ete adaptes 
par le procede de I'invention, et le contour determine par 
analyse des gradients les plus forts en niveaux de gris. 
Cette combinaison sera mieux comprise par la suite en 
relation avec la figure 5. 

[0040] Poursimplifier la presente description, on con- 
sidered ci-apres que les contours des vues en deux di- 
mensions sont connus. En pratique, les etapes du pro- 
cede de I'invention seront effectuees en boucle, y com- 
pris le recalage en deux dimensions, jusqu'a obtenir un 
resultat satisfaisant. 

[0041] Selon I'invention, une fois que la ou les vues 
en deux dimensions ont ete obtenues, il reste a deter- 
miner, par recherche de correspondance dans la base 
de donnees, la forme et la taille de I'objet (ici, I'os) en 
trois dimensions. 

[0042] Pour ce faire, I'invention prevoit de rechercher 
le modele pour lesquelles les distances separant les 
contours de chaque vue en deux dimensions et la sur- 
face du modele sont minimales. 
[0043] Dans le mode de realisation prefere ou on uti- 
lise un modele statistique deformable (definissant ainsi 
une famille de modeles) de I'objet a reconstituer, on re- 
cherche a s'approcher le plus possible, par deformation 
iterative de ce modele, de la forme dont les contours 
sont tels que, comme on le verra par la suite en relation 
avec la figure 5, les rayons de retroprojection s'ap- 
puyant sur les points des contours de I'image (ou des 
images) en deux dimensions depuis la source (ou de- 
puis leurs sources respectives) sont tous tangentiels a 
la surface du modele, etant entendu que les differents 
contours en deux dimensions sont reperables dans le 
referentiel de reference. 

[0044] La realisation du modele statistique deforma- 
ble en lui meme ne fait pas I'objet de la presente inven- 
tion et est parfaitement classique. On se bornera a rap- 
peler que la realisation d'un tel modele fait g6n6rale- 
ment appel a une recherche d'une forme moyenne 



d'une population d'objets de m§me type (par exemple, 
des femurs) constituant la base de donnees, suivie 
d'une analyse en composantes principales pour deter- 
miner les deformations principales (essentielles) a ap- 
pliquer a cette forme moyenne et obtenir ainsi le modele 
statistique. 

[0045] Une methode de determination d'un modele 
statistique a partir d'une famille d'echantillons est decri- 
te, par exemple, dans Particle "Building a Complete Sur- 
face Model from Sparse Data Using Statistical Shape 
Models: Application to Computer Assisted Knee Surge- 
ry" de Markus Fleute et Stephane Lavallee, paru dans 
MEDICAL IMAGE COMPUTING AND COMPUTER-AS- 
SISTED INTERVENTION - MICCAP98, Springer-Verlag 
LNCS Series, pages 880-887, en Octobre 1998, et dont 
le contenu est incorpore ici par reference. On notera que 
la precision de la reconstruction des contours surfaci- 
ques operee par I'invention depend des echantilions uti- 
lises pourconstruire la base de donnees du modele sta- 
tistique. Par exemple, si un modele statistique de femur 
est cree a partir d'une population d'echantillons ayant 
des formes normales (sans pathologie), on pourra re- 
constituer avec precision des formes normales mais la 
precision sera limitee si le femur radiographic a une for- 
me pathologique. Parcontre, si le modele statistique est 
cree a partir d'une grande popu lation d'echantillons con- 
tenant a la fois des formes normales et des formes pa- 
thologiques, on pourra reconstituer, avec precision, des 
objets normaux et pathologiques. 
[0046] Selon I'invention, une fois que Ton dispose des 
images en deux dimensions, on recherche le cas 
echeant a quel modele contenu dans la base de don- 
nees ces images se rapprochent le plus (par exemple, 
si plusieurs types d'os ou si plusieurs modeles statisti- 
ques d'un meme os sont disponibles), puis on applique 
des transformations a ce modele pour s'approcher le 
plus possible d'une image en trois dimensions, telle que 
les rayons de retroprojection gentiels aux surfaces de 
I'image en trois dimensions, placee sur le trajet de ces 
rayons et dont ils sont respectivement les plus proches. 
[0047] De preference, on commence par faire subir 
au modele initial au repos, c'est-a-dire correspondant a 
la forme moyenne, une transformation dite rigide, c'est- 
a-dire, ne touchant qu'a son orientation et sa translation 
dans Pespace. Puis, quand on a obtenu la position pour 
laquelle les rayons de retroprojection sont tous a une 
distance minimale des contours du modele initial, on fait 
subir une deformation non-rigide au modele, c'est-a-di- 
re que sans modifier son orientation, on modifie sa for- 
me a partir des donnees contenues dans la base statis- 
tique en modifiant les coefficients des modes principaux 
du modele, jusqu'a obtenir la forme dont les "contours 
se rapprochent le plus des rayons de retroprojection. Le 
cas ech6ant, le modele est prepositionne de facon tres 
approximative par Poperateur par rapport aux vues en 
deux dimensions affichees a recran. On notera que les 
moyens (informatiques) de traitement d'images utilises 
sont classiques dans leur structure et n'ont done pas 



15 



20 



25 



30 



35 



40 



45 



50 



5 



9 



EP 1 222 636 B1 



10 



besoin d'etre detailies. 

[0048] Les figures 3A a 3C illustrent ces deux etapes 
du proced6 de I'invention. La figure 3A represente une 
vue en trois dimensions d'un modele 21 avant toute de- 
formation. II s'agit, par exemple, d'un modele statistique 
de I'invention positionne par le praticien dans une orien- 
tation approximative. La figure 3B represente le modele 
21 1 de la figure 3A a Tissue de I'etape d'orientation sans 
modification de forme. La figure 3C represente I'image 
22 en trois dimensions resultant de la mise en oeuvre 
de I'invention, c'est-a-dire correspondant au modele 2 1 ', 
deforme pour que les rayons de retroprojection soient 
{idealement) tangents a tous ses contours. 
[0049] Par souci de simplification, un seul groupe de 
rayons r de retroprojection depuis une source 7 ont ete 
representes aux figures 3A a 3C et I'ecran de projection 
de I'image correspondante n'a pas ete represente. 
Comme il ressort des figures 3A a 3C, un grand nombre 
de rayons r de la figure 3A ne sont pas tangents aux 
contours du modele 21 . Le nombre de rayons de retro- 
projection utilise depend de la precision souhaitee et 
des caract£ristiques du modele statistique, essentielle- 
ment, du nombre de points surfaciques choisis pourser- 
vir de reference lors de la definition de ce modele sta- 
tistique. 

[0050] De la figure 3A a la figure 3B, la transformation 
est "rigide", c'est-a-dire que le modele n'est pas defor- 
me. Lors de cette transformation, le modele 21 subit des 
translations et rotations afin d'obtenir des mesures 
d'ecarts minimum entre chaque rayon de retroprojection 
partant des points de contour de I'image et la surface 
de I'objet dans sa position courante. On utilise pour cela 
des methodes mathematiques de recherche du mini- 
mum de la somme des carres de ces ecarts par rapport 
aux six parametres (trois degres de liberte en rotation 
et trois degres de liberte en translation) definissant la 
transformation rigide recherchee. On obtient une confi- 
guration telle qu'illustree par la figure 3B dans laquelle 
le modele 21 ' a une position et orientation correcte mais 
une forme encore imparfaite. C'est pourquoi certain 
rayons r* ne sont pas tangents mais traversent le mode- 
le. 

[0051 ] De preference, la position resultant de la trans- 
formation rigide (rotation, translation) est obtenue par 
une methode (algorithme) dite du point le plus proche 
(Iterative Closest Point, ICP). Un exemple d'une telle 
methode est decrit dans I'article "A Method for Regis- 
tration of 3-D Shapes" de Paul J. Best et Neil D. McKay, 
paru dans IEEE TRANSACTIONS ON PATTERN ANA- 
LYSIS AND MACHINE INTELLIGENCE, vol. 14, NO. 2, 
en fevrier 1992, et dont le contenu est incorpore ici par 
reference. 

[0052] De la figure 3B a la figure 3C, la transformation 
est "non-rigide" (elastique) et consiste a deformer le mo- 
dele 21' sans changer son orientation jusqu'a obtenir 
I'image 22 en trois dimensions pour laquelle tous les 
rayons de retroprojection r" sont a une distance minima- 
le des contours (idealement tangents). Cette transfor- 



mation non-rigide est effectude, par exemple et selon 
un premier mode de realisation, en calculant les para- 
metres de deformation a partir d'un algorithme connu 
sous la denomination anglo-saxonne "Down Hill Sim- 
5 plex". Cet algorithme a ete decrit, par exemple, en 1 965 
par J.A. Nelder et R. Mead dans COMPUTER JOUR- 
NAL, vol. 7, pages 308-313, dont le contenu est incor- 
pore ici par reference. 

[0053] Selon un mode de realisation pr6f6re de Pin- 
to vention, t'algorithme utilise pour determiner la transfor- 
mation non-rigide du modele statistique est base" sur la 
methode de Levenberg-Marquardt. Le principe de cette 
methode est de determiner le minimum d'une fonction 
non-lineaire multidimensionnelle en utilisant les deri- 
15 v6es partielles de la fonction par rapport aux parametres 
de deformation du modele. Cette methode a ete decrite, 
par exemple, en 1 963 par D.W. Marquardt dans JOUR- 
NAL OF THE SOCIETY FOR INDUSTRIAL AND AP- 
PLIED MATHEMATICS, vol. 1 1 , pages 431 -441 , dont le 
20 contenu est incorpore ici par reference. La fonction dont 
on cherche le minimum est ici la somme des carr6s des 
distances entre un ensemble de rayons de retroprojec- 
tion s'appuyant sur les points de contours et la surface 
du modele. Les parametres de la recherche du mini- 
ms mum sont les coefficients que Ton applique a chaque 
mode de deformation du modele statistique, ainsi que 
cela est presente dans I'article "Building a Complete 
Surface Model from Sparse Data Using Statistical Sha- 
pe Models: Application to Computer Assisted Knee Sur- 
30 gery" de Markus Fleute et Stephane Lavaliee, dejacite. 
[0054] Cette methode est appliquee et r6petee a cha- 
que position approchee jusqu'a ce qu'il ne soit plus pos- 
sible de minimiser les ecarts. On enchame ainsi un re- 
calage rigide, un recalage elastique, un recalage rigide, 
35 un recalage elastique, etc. Une fois la forme en trois di- 
mensions reconstituee, sa taille est bien entendu ega- 
lement connue dans la mesure ou toutes les vues en 
deux dimensions ont des tailles connues, de meme que 
la position, dans le reterentiel de reference, du modele 
40 par rapport aux sources. Le nombre de passes neces- 
saire depend essentiellement du nombre de parametres 
caracteristiques utilises pour modeiiser la deformation. 
[0055] On notera que I'ordre dans lequel sont effec- 
tuees les deux etapes ci-dessus est important. En effet, 
<5 si on commence par effectuer une deformation non-ri- 
gide, on va faire correspondre un modele avec une mau- 
vaise orientation qu'il sera tres difficile a r6cuperer en 
raison de la deformation de forme subie. Toutefois, la 
minimisation des ecarts peut etre effectuee globalement 
so en prenant en compte les paramfetres rigides et les pa- 
rametres de deformation en meme temps a chaque ite- 
ration du processus mathematique de minimisation. 
[0056] On notera que, a chaque etape iterative du 
precede . dans laquelle on calcuie les ecarts entre les 
55 contours du modele et les rayons de retroprojection, de 
nouveaux points entrant dans la mesure sont determi- 
nes cote modele et/ou cote rayons de projection. Ceci 
constitue une distinction importante par rapport a des 
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procedes connus de reconstitution d'images en trois di- 
mensions dans lesquels les points de mesure sont les 
memes pourtoutes les iterations. 
[0057] Une autre caracteristique de la presente inven- 
tion est q ue les evaluations des ecarts minimaux ne sont s 
pas necessairement faites de facon exhaustive pour 
tous les elements de surface du modele. En effet, cela 
conduirait parfois a des calcuis trop dispendieux meme 
si le nombre d'elements de surface peut etre minimise 
en utilisant des elements triangulaires. Selon I'inven- 
tion, les evaluations d'ecarts sont faites par rapport a 
des lignes caracteristiques constituant des generateurs 
de contours du modele. Cela minimise le nombre de 
points de mesure. Par exemple, un os de type femur, 
defini par environ 5000 bords de surfaces triangulaires, 
est defini par environ 300 generateurs de contours. 
[0058] De preference, I'analyse effectuee par le pro- 
cede de I'invention ne touche que des generateurs de 
contour de I'image en trpis dimensions. Ainsi, la surface 
du modele statistique est, de preference, formee d'ele- 
ments triangulaires dont certaines aretes dtfinissent 
des generateurs du contour. Un generateur de contour 
est defini par les aretes (bords) des triangles qui, proje- 
tes sur un plan, definissent le contour (interne ou exter- 
ne). Le recours aux generateurs de contours permet de 
reduire considerablement (par exemple, d'au moins un 
facteur 10) le nombre de points a chercher dans le mo- 
dele pour verifier la correspondance avec I'image re- 
constitute. 

[0059] La figure 4 illustre la definition d'un generateur 
de contour d'une image (modele) en trois dimensions 
dont la surface est formee d'elements de surface trian- 
gulaires tels que decrits, par exemple, dans I'article 
"Anatomy-based registration of ct-scan and intraopera- 
tive x-ray images for guiding a surgical robot" de A. Gue- 
ziec, paru dans IEEE TRANSACTIONS ON MEDICAL 
IMAGING, 17(5), pages 715-728, en octobre 1998, et 
dont le contenu est incorpore ici par reference. 
[0060] La figure 4 represente, de facon simplifiee, 
deux triangles 30 et 31 definissant une portion de sur- 
face d'un modele en trois dimensions et dont I'arete 
commune constitue une generatrice 32 du contour. Le 
calcul a effectuer pour determiner si une arete constitue 
ou non une generatrice du contour consiste a calculer 
les angles a et (3 respectifs entre les normales aux sur- 
faces des triangles 30 et 3 1 et les rayons 33 et 34 reliant 
le centre de ces surfaces au centre 35 de projection cor- 
respondent a la position de la source de rayons X. Si 
Tun des angles est inferieur a 90° tandis que I'autre est 
superieur a 90°, leur arete commune 32 est alors une 
generatrice du contour. 

[0061] La figure 5 illustre le type de mesure effectuee 
pour determiner I'ecart e entre un rayon r de retropro- 
jection et un point d'un generateur de contour. Cette fi- 
gure represente, de fagon schematique, une image I de 
I'objet dans un plan P et une forme 21 du modele sta- 
tistique placee sur le trajet des rayons de retroprojection 
de I'image I jusqu'a la source (non representee). 



[0062] Pour chaque rayon de retroprojection r, on 
cherche les points respectifs 41 et 40 du rayon de re- 
troprojection et d'un generateur de contour choisi parmi 
tous les generateurs, pour lequel I'ecart e entre ces 
points est minimal. 

[0063] Un avantage de la presente invention est qu'ei- 
le permet une reconstitution beaucoup plus rapide d'une 
image en trois dimensions par rapport aux techniques 
connues. 

[0064] Un autre avantage de la presente invention est 
qu'elle permet un alignement correct du modele meme 
dans des zones ou on ne dispose pas de donnees de 
projection par les images en deux dimensions (par 
exemple, certaines courbures internes). 
[0065] On notera que le contour de surface pourra, le 
cas echeant, etre affine au moyen d'un palpeur meca- 
nique, optique ou magnetique fournissant des coordon- 
nees spatiales dans le meme referentiel que les images 
en deux dimensions. On obtient alors des points sup- 
plemental qui peuvent etre utilises dans la recherche 
de I'image en trois dimensions. Le recours a un palpeur 
peut servir, par exemple, a diminuer le nombre de vues 
en deux dimensions necessaires en donnant une infor- 
mation en trois dimensions. 

[0066] On notera egalement que le precede de I'in- 
vention peut s'appliquer a plusieurs contours surfaci- 
ques en trois dimensions constituant un ou plusieurs ob- 
jets. Par exemple, on peut ainsi reconstituersimultane- 
ment la surface externe et la surface corticale interne 
d'un os. On peut egalement reconstituer la forme de plu- 
sieurs os participant a une articulation et visibles simul- 
taneities sur les images radiologiques (par exemple, le 
tibia et le femur si on s'interesse au genou), ou encore 
la forme de plusieurs fragments osseux d'un meme os. 
Le modele recherche doit, dansce dernier cas, contenir 
les transformations rigides entre chaque contour surfa- 
cique en trois dimensions. Dans d'autre cas duplica- 
tion a plusieurs objets, ii faut bien entendu connaTtre les 
differents modeles statistiques et les eventuelle trans- 
formations rigides ou elastiques entre eux. 
[0067] Bien entendu, la presente invention est sus- 
ceptible de diverses variantes et modifications qui ap- 
parattront a I'homme de Tart. En particulier, le nombre 
de vues en deux dimensions devant etre utilise pour la 
reconstitution depend de la precision souhaitee et de la 
complexity du modele. Dans certains cas, une seule vue 
en deux dimensions pourra suffire. De plus, bien que 
I'invention ait ete decrite en relation avec une source de 
rayons X mobile, celle-ci pourra etre remplacee par plu- 
sieurs sources fixes, pourvu de respecter la contrainte 
d'obtenir des images en deux dimensions dans un me- 
me referentiel. En outre, la mise en oeuvre de I'invention 
fait bien entendu appel a des techniques de traitement 
nume>ique d'images dont la realisation pratique est a la 
portee de I'homme du metier a partir des indications 
fonctionnelles donnees ci-dessus et dans les publica- 
tions citees en references. 
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Revendications 

1. Procede de reconstitution d'une image en trois di- 
mensions representant les contours surfaciques 
d'au moins un objet (1 ), a partir d'au moins une vue 
en deux dimensions de cet objet prise aux rayons 
X, caracterise en ce qu'il consiste a : 

determiner la position de la source (7) de prise 
de vues dans un reference! de reference ; 
selectionner au moins un modele statistique 
definissant une forme moyenne de I'objet et ses 
deformations principales par rapport a cette for- 
me moyenne, le modele statistique etantcalcu- 
le a partir d'une population d'objets de meme 
type pour laquelle on recherche la correspon- 
dance statistique commune a tous les objets ; 
et 

de facon iterative jusqu'a ce que les contours 
du modele soient tels que les ecarts, entre des 
rayons de r&roprojection des contours de Pimage 
en deux dimensions depuis la source et la surface 
du modele, soient minimaux, pour obtenir une cor- 
respondance entre le modele et I'image : 

selectionner une orientation et une position du 
modele dans le referentiel de reference en fai- 
sant subir au modele statistique une transfor- 
mation rigide modifiant sa position et/ou son 
orientation, puis 

selectionner une deformation du modele en fai- 
sant subir au modele statistique une deforma- 
tion non rigide modifiant ses contours surfaci- 
ques. 

2. Procede selon la revendication 1 , caracterise en 
ce que les contours de I'image en deux dimensions 
sont obtenus automatiquement en projetant le mo- 
dele dans le plan de I'image en deux dimensions, 
et en deformant les contours projetes de facon a les 
faire coincider avec les points de fort gradient en 
niveaux de gris de I'image en deux dimensions. 

3. Procede selon la revendication 2, caracterise en 
ce que la determination automatique des contours 
de I'image en deux dimensions est effectuee de fa- 
con iterative, chaque iteration 6tant intercal6e entre 
deux iterations successives des etapes de selec- 
tion. 

4. Procede selon Tune quelconque des revendications 
1 a 3, caracterise en ce qu'il consiste a determiner, 
dans le referentiel de reference, des coordonnees 
en trois dimensions de points de I'objet, de facon a 
disposer de points de reference supplementaires 
pour les etapes de selection iteratives de position, 
orientation, et deformation. 



5. Procede selon Tune quelconque des revendications 
1 a 4, caracterise en ce qu'il consiste a utiliser plu- 
sieurs images en deux dimensions pour lesquelles 
les positions respectives de la source de prise de 

5 vues sont toutes determinees dans le referentiel de 
ref6rence, et a effectuer les etapes de selections 
iteratives en tenant compte des rayons de retropro- 
jection des contours de toutes les images en deux 
dimensions. 

10 

6. Proc6de selon la revendication 5, caracterise en 
ce que le nombre d'images utilise est fonction de 
la precision souhaitee. 

15 7. Procedeselon Tune quelconque des revendications 
1 a 6, caracterise en ce que la surface du modele 
est constitute d'elements de triangle, lesdits ecarts 
etant mesures par rapport a des points de certaines 
aretes constituant des generateurs du contour en 

20 trois dimensions. 

8. Procede selon Tune quelconque des revendications 
1 a 7, caracterise en ce qu'il est applique a la re- 
constitution des contours surfaciques de plusieurs 

25 objets lies entre eux par des relations de transfor- 
mation rigide et/ou elastique. 

9. Procede selon I'une quelconque des revendications 
1 a 8, caracterise en ce qu'il est applique a la re- 

30 constitution d'images d'os. 

10. System e de trait ement d'images, caracterise en ce 
qu'il comporte des moyens pour la mise en oeuvre 
du procede selon I'une quelconque des revendica- 

35 tions 1 a 9. 



Claims 



40 1. A method for restoring a three-dimensional image 
representing the surface contours of at least one 
object (1), based on at least one two-dimensional 
X-ray view of this object, characterized in that it 

consists of: 

45 

determining the position of the shooting source 
(7) in a reference referential system; 
selecting at least one statistical model defining 
an average shape (21) of the object and its 
50 main deformations with respect to this average 

shape, the statistical model being calculated 
from an object population of a same type for 
which the statistical correspondence common 
to all objects is searched; and 



55 



iteratively, until the contours of the model are such 
that the intervals between back-projection rays of 
the image contours in two dimensions from the 
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source and the model surface are minimum, to ob- 
tain a correspondence between the model and the 
image; 

selecting an orientation and a position of the 5 
model in the reference referential system by 
submitting the statistical model, successively, 
to a rigid transformation modifying its position 
and/or its orientation, then 

selecting a deformation of the model to modify 10 
its contours in three dimensions, by submitting 
the statistical model to a non-rigid deformation 
modifying its surface contours. 

2. The method of claim 1 , characterized in that the 15 

image contours in two dimensions are automatically 
obtained by projecting the model in the image plane 
in two dimensions, and by deforming the projected 
contours to have them coincide with the points of 
strong grey level gradient of the two-dimensional 20 
image. 

3. The method of claim 2, characterized in that the 

automatic determination of the image contours in 
two dimensions is performed iteratively, each itera- 25 
tion being interposed between two successive iter- 
ations of the selection steps. 

4. The method of any of claims 1 to 3, characterized 

in that it consists of determining three-dimensional 30 
coordinates of points of the object in the reference 
referential system, to have additional reference 
points for the iterative position, orientation, and de- 
formation selection steps. 

35 

5. The method of any of claims 1 to 4, characterized 
in that it consists of using several two-dimensional 
images for which the respective positions of the 
shooting source are all determined in the reference 
referential system, and of performing the iterative *o 
selection steps while taking account of the back- 
projection rays of the contours of all the two-dimen- 
sional images. 

6. The method of claim 5, characterized in that the 45 

number of used images is a function of the desired 
accuracy. 

7. The method of any of claims 1 to 6, characterized 

in that the model surface is formed of triangle ele- so 
ments, said intervals being measured with respect 
to points of given edges forming generators of the 
three-dimensional contour. 

8. The method of any of claims 1 to 7, characterized 55 
in that it is applied to the restoring of the surface 
contours of several objects linked together by rigid 
and/or resilient transformation relations. 



9. The method of any of claims 1 to 8, characterized 
in that it is applied to the restoring of bone images. 

10. An image processing system, characterized in 
that it includes means for implementing the method 
of any of claims 1 to 9. 



PatentansprUche 

1. Verfahren zur Rekonstitution eines die Oberfla- 
chenkonturen wenigstens eines Objekts (1 ) wieder- 
gebenden Bildes in drei Dimensionen, ausgehend 
von wenigstens einer mit Rontgenstrahlung ge- 
machten zweidimensionalen Aufnahme dieses Ob- 
jekts, dadurch gekennzeichnet, daft das Verfah- 
ren umfaBt: 

Bestimmen der Lage bzw. Stellung der Aufnah- 
mestrahlungsquelle (7) in einem Bezugs-Refe- 
rentialsystem: 

Wahlen wenigstens eines statistischen 
Modells, welches eine durchschnittliche 
mittlere Form des Objekts und seine 
Hauptdeformationen relativ bezuglich die- 
ser mittleren durchschnittlichen Form defi- 
niert, wobei das statistische Modell ausge- 
hend von einer Population von Objekten 
desselben Typs bestimmt wird, fur welche 
man diesamtlichen Objekten gemeinsame 
statistische Korrespondenz-Entsprechung 
sucht; sowie 

iterative Durchfuhrung der folgenden 
Schritte, bis die Konturen solcher Art sind, 
da(3 die Abstande zwischen den Ruckpro- 
jektionsstrahlen der Konturen des zweidi- 
mensionalen Bildes von der Strahlungs- 
quelle und der Modelloberflache minimal 
sind, zur Erlangung einer Korresponden- 
zentsprechung zwischen dem Modell und 
dem Bild: 

Wahlen einer Orientierung bzw. Aus- 
richtung und einer Stellung bzw. Lage 
des Modells in dem Bezugsreferential- 
system, indem man das statistische 
Modell einer starren Transformation 
unter Anderung seiner Stellung/Lage 
und/oder seiner Orientierung/Ausrich- 
tung unterwirft, sodann 
Wahlen einer Deformation des Mo- 
dells, indem man das statistische Mo- 
dell einer nicht-starren Deformation 
unter Veranderung seiner Oberfla- 
chenkonturen unterwirft. 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
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zeichnet, daB die Konturen des zweidimensiona- 
len Bildes automatisch erhalten werden, indem man 
das Modell in die Ebene des zwei-dimensionaien 
Bildes projiziert und die projizierten Konturen so de- 
formiert, daB sie mit den Punkten von starkem 
Grauwertgradient des zwei-dimensionalen Bildes 
zusammenfallen.. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daft die automatische Bestimmung der 
Konturen des zweidimensionalen Bildes in iterati- 
ver Form erfolgt, wobei jede Iteration jeweils zwi- 
schen zwei aufeinanderfolgenden Iterationen der 
Wahlverfahrensschritte zwischengeschaltet wird, 

4. Verfahren nach einem der Anspriiche 1 bis 3, da- 
durch gekennzeichnet, daB es aus der Bestim- 
mung dreidimensionaler Koordinaten von Punkten 
des Objekts im Referenz-Referentialsystem be- 
steht, urn uber zusatzliche Referenzpunkte fur die 
Verfahrensstufen iterativer Wahl von Lage/Stel- 
lung, Orientierung/Ausrichtung und Deformation zu 
verfugen. 

5. Verfahren nach einem der Anspriiche 1 bis 4, da- 
durch gekennzeichnet, daB es aus der Verwen- 
dung mehrerer zweidimensionaler Bilder besteht, 
furwelchediejeweiligen Lagen/Stellungen der Auf - 
nahme-Strahlungsquellen samtlich in dem Refe- 
renz-Referentialsystem bestimmt werden, sowie in 
der Durchfuhrung der iterativen Wahlschritte unter 
Berucksichtigung der Ruckprojektionsstrahlen der 
Konturen aller zweidimensionalen Bilder. 

6. Verfahren nach Anspruch 5, dadurch gekenn- 
zeichnet, daB die verwendete Bildzahl eine Funk- 
tion der gewunschten Genauigkeit ist. 

7. Verfahren nach einem der Anspriiche 1 bis 6, da- 
durch gekennzeichnet, daB die Oberflache des 
Modells von Dreieckselementen gebildet wird, wo- 
bei diegenannten Abstande relativbezuglich Punk- 
ten bestimmter Randkanten gemessen werden, 
welche Erzeugende der Kontur in drei Dimensionen 
bilden. 

8. Verfahren nach einem der Anspriiche 1 bis 7, da- 
durch gekennzeichnet, daB das Verfahren auf die 
Rekonstitution der Oberflachenkonturen mehrerer 
Objekte angewandt wird, die untereinander durch 
Relationen starrer und oder elastischer Transfor- 
mation verbunden sind, 

9. Verfahren nach einem der Anspriiche 1 bis 8, da- 
durch gekennzeichnet, daB das Verfahren auf die 
Rekonstitution von Knochenbildern angewandt 
wird. 



10. System zur Bildbe-bzw. — verarbeitung, dadurch 
gekennzeichnet, daB es Mittel zur Ausfiihrung des 
Verfahrens nach einem der Anspriiche 1 bis 9 auf- 
weist. 
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